DOPD: Dual On-policy Distillation
DOPD：双重在线策略蒸馏
🧭 在线策略蒸馏·动态路由监督
NUS · MMLab, CUHK · PKU · Explore Academy, JD
提出优势感知双蒸馏，缓解特权信息导致的“特权幻觉”，动态路由教师与学生的token级监督
📌 工作参考价值（4 点）
- 蒸馏中引入额外上下文（如用户特征、长期行为）时，需警惕特权幻觉：学生无法获取的输入会导致模仿不可达信号。可借鉴优势感知路由：根据教师与学生的优势差距动态选择监督来源，学生自身生成的部分用自我监督，避免能力与信息不对称混淆。
- token级监督非均匀，优势高的token（如推荐理由中的关键词）承载关键能力。可仿照DOPD，对高优势token加强教师监督，低优token用学生自我蒸馏，提升训练效率与生成质量。
- 框架适用于on-policy样本生成场景（如LLM生成推荐文案、解释），采样学生轨迹后，可同时运行特权教师和特权学生，按token概率比与优势差实时分配监督，工程上易集成至现有RLHF或蒸馏管线。
- 实验中持续学习与分布外泛化提升明显，对推荐模型频繁更新的场景（如新品冷启、热点事件）有参考价值，能稳定性能并缓解灾难性遗忘。